Перейти к основному содержимому

1.17. Аудио и видео

ОБЯЗАТЕЛЬНОДЛЯ НОВИЧКОВНЕ ДЛЯ НОВИЧКОВВ РАЗРАБОТКЕ
Всем

Аудио и видео​

Термины аудио и видео в контексте информационных технологий обозначают структурированные цифровые представления физических явлений, подчинённые строгим математическим и инженерным законам. Аудио — это цифровая транскрипция акустических колебаний, видео — зафиксированная последовательность изменений в световом потоке. Оба вида данных требуют согласованного подхода к захвату, преобразованию, хранению, передаче и воспроизведению. При этом их обработка опирается на смежные, но принципиально разные модели представления информации: временно-частотная для звука и пространственно-временная — для изображения.

Эта глава рассматривает аудио и видео как единые, но внутренне разнородные объекты цифровой обработки. Мы последовательно разбираем:
— природу исходного сигнала и его переход в цифровую форму;
— параметры дискретизации и их влияние на качество и объём;
— принципы сжатия и роль кодеков;
— архитектуру мультимедийных потоков и контейнеров;
— особенности синхронизации и временного представления;
— инженерные компромиссы при проектировании систем работы с медиаданными.

1. Аудиосигнал​

Звук — это механическая волна, распространяющаяся в упругой среде, чаще всего в воздухе. Её параметры — амплитуда (субъективно воспринимается как громкость), частота (высота тона), форма волны (тембр) и фаза — определяют звуковое восприятие. Человеческое ухо способно регистрировать колебания в диапазоне от примерно 20 Гц до 20 кГц, причём чувствительность неравномерна: наиболее остро воспринимаются частоты от 1 до 5 кГц — именно в этом диапазоне расположена основная энергия речи.

В цифровой системе звук не может существовать в виде непрерывной аналоговой функции. Он фиксируется дискретно — через регулярные промежутки времени, с фиксированной точностью амплитуды. Эта операция называется оцифровкой, и её осуществляет аналого-цифровой преобразователь (АЦП). Результат — временной ряд чисел, каждый из которых является отсчётом (sample).

Фундаментальную роль в этом процессе играет теорема Котельникова–Шеннона (часто упоминаемая как «теорема отсчётов»), утверждающая: чтобы однозначно восстановить непрерывный сигнал ограниченного спектра, достаточно проводить отсчёты с частотой, превышающей удвоенную максимальную частоту в спектре сигнала. Отсюда следует, что для захвата полного слышимого диапазона (до 20 кГц) необходима частота дискретизации не менее 40 кГц. Стандарт компакт-диска — 44,1 кГц — выбран с небольшим запасом, чтобы учесть неидеальность фильтров антиалиасинга, устанавливаемых перед АЦП.

Частота дискретизации — первая ось цифрового аудиопространства. Вторая — разрядность (bit depth) — определяет, сколько бит отводится на один отсчёт. Разрядность задаёт динамический диапазон — разницу между самым тихим и самым громким воспроизводимым звуком. При 16 битах (CD-качество) этот диапазон составляет примерно 96 дБ, что достаточно для домашнего прослушивания. В студийной практике применяют 24 бита (144 дБ теоретического диапазона), чтобы избежать накопления шума при многократной обработке и позволить гибкую постобработку динамики (компрессия, лимитирование, восстановление тихих деталей) без потери разрешения.

Таким образом, несжатый аудиопоток — это просто последовательность целых чисел фиксированной разрядности, записанных с постоянной скоростью. Для стереофонической записи поток раздваивается: два параллельных канала (левый и правый), каждый со своей последовательностью отсчётов. Часто добавляется метаинформация: количество каналов, их порядок (например, 5.1 — шесть каналов), частота дискретизации, разрядность — эта информация может быть встроена в заголовок файла или передаваться отдельно посредством сигнализации (например, в протоколах AES3 или SPDIF).

Важно понимать: оцифровка не искажает сигнал принципиально, если соблюдены условия теоремы отсчётов. Все искажения в цифровом аудио возникают либо при недостаточной частоте дискретизации (алиасинг), либо при ошибке квантования (ограниченная разрядность), либо на этапе восстановления аналогового сигнала (цифро-аналоговый преобразователь с некачественной фильтрацией). В противоположность аналоговым системам, где шум и нелинейные искажения накапливаются при каждом копировании, цифровой поток может копироваться бесконечно без потери качества — до тех пор, пока не будет применено сжатие с потерями.

2. Сжатие аудиоданных​

Цель сжатия — экономия ресурсов: объёма памяти, пропускной способности канала, времени передачи. Сжатие аудио делится на два принципиально разных класса: lossless (без потерь) и lossy (с потерями).

Безпотерянное сжатие сохраняет возможность полного восстановления исходного потока отсчётов. Оно достигается за счёт устранения статистической избыточности — например, длинных участков тишины кодируются эффективнее, чем хаотичный шум. Алгоритмы, такие как FLAC (Free Lossless Audio Codec), ALAC (Apple Lossless), WavPack или Monkey’s Audio, могут уменьшить объём WAV-файла на 40–60 % без какого-либо ущерба для данных. Такие форматы используются в цифровых архивах, при мастеринге, в системах цифровых прав, где требуется бит-то-бит идентичность оригиналу. Однако даже при сжатии без потерь файлы остаются крупными: минута стереофонического аудио при 44,1 кГц / 16 бит занимает около 10 МБ в WAV и около 6 МБ в FLAC.

Сжатие с потерями уходит от идеи точного восстановления. Его фундамент — психоакустические модели, описывающие особенности человеческого слуха. Основные принципы:
— Маскирование по времени: громкий звук подавляет восприятие тихих звуков, следующих сразу за ним или предшествующих ему на несколько миллисекунд.
— Маскирование по частоте: сильная спектральная составляющая делает соседние, более тихие частоты неслышимыми.
— Порог слышимости: часть спектра (например, ниже 20 Гц или выше 16 кГц у взрослых) вообще не воспринимается — эти частоты можно удалить.

Кодеки с потерями (MP3, AAC, Opus, Vorbis) делят сигнал на короткие блоки, применяют к ним преобразование (обычно MDCT — модифицированное дискретное косинусное преобразование), получают спектр, анализируют его с помощью психоакустической модели и отбрасывают или грубо квантуют те компоненты, которые, по расчётам, не будут замечены. Чем выше коэффициент сжатия — тем жёстче отсев.

Например, MP3 при 128 кбит/с сохраняет речь вполне удовлетворительно, но музыкальные записи теряют «воздух», детализацию высоких частот и пространственное разрешение. При 192–256 кбит/с различия для большинства слушателей становятся малозаметными в обычных условиях (наушники среднего класса, фоновый режим). AAC, являющийся развитием MP3, при том же битрейте даёт ощутимо лучшее качество — за счёт более точной модели восприятия и более гибкой структуры кадра. Opus — современный открытый кодек — оптимизирован под низкие задержки и адаптивный битрейт, что делает его стандартом для VoIP, видеоконференций и WebRTC.

Стоит подчеркнуть: повторное сжатие с потерями ухудшает качество кумулятивно. Если файл в MP3 128 кбит/с перекодировать в AAC 256 кбит/с, качество не улучшится — утраченная информация уже не восстановима. Поэтому в профессиональных цепочках обработки сохраняют промежуточные версии в несжатом или безпотерянном формате.

3. Видеосигнал​

Видео — это временная последовательность двумерных массивов (кадров), каждый из которых представляет собой фиксированный срез светового потока в определённый момент времени. С точки зрения обработки, видео — это четырёхмерный объект: две пространственные координаты (x, y), временная координата (t) и, как правило, трёхкомпонентное цветовое пространство (например, RGB или Y′CbCr). Однако в цифровом виде эта структура значительно упрощается и перерабатывается для эффективности.

Первый этап цифрового захвата видео — пространственная дискретизация. Изображение, формируемое объективом на матрице датчика (CCD или CMOS), разбивается на прямоугольную сетку — растровую матрицу пикселей. Каждый пиксель фиксирует локальную освещённость (и, в зависимости от конструкции датчика, — цвет). Разрешение кадра задаётся в пикселях: 1920×1080 (Full HD), 3840×2160 (Ultra HD 4K), 7680×4320 (8K). Разрешение — не абсолютная мера качества: при фиксированном угле обзора и расстоянии до экрана рост разрешения даёт эффект только до порога разрешающей способности глаза. Однако с технической точки зрения разрешение определяет объём данных на кадр и, соответственно, нагрузку на всю цепочку: захват, кодирование, передачу, хранение, декодирование, отображение.

Второй этап — временная дискретизация, или частота кадров (frame rate). Человеческое зрение обладает инерцией — способностью сохранять впечатление от светового раздражения на короткое время после его исчезновения. Эта особенность позволяет создавать иллюзию непрерывного движения при последовательной смене статичных изображений. Минимальная частота, при которой движение воспринимается как плавное, составляет около 16–18 кадров в секунду (кадр/с), но уже при 24 кадр/с исчезает заметная «дробность» — отсюда стандарт кинематографа.

Однако выбор частоты кадров не сводится к биологическим пределам. Он обусловлён историческими и техническими причинами:
— 24 кадр/с — стандарт киносъёмки, устоявшийся в 1920-х годах как компромисс между плавностью и экономией плёнки.
— 25 кадр/с — стандарт PAL/SECAM, синхронизированный с частотой электросети 50 Гц, чтобы избежать мерцания при съёмке освещённых искусственным светом сцен.
— 29.97 кадр/с (NTSC drop-frame) — компромиссный стандарт, возникший при переходе от чёрно-белого к цветному телевидению в системе NTSC, где частота цветовой поднесущей была подстроена под 60 Гц.
— 50/60 кадр/с — стандарт для спортивных трансляций и HDR-видео, где важна чёткость быстрых движений.
— 120 кадр/с и выше — используется в игровой индустрии, VR и высокоскоростной съёмке (slow motion).

Важно различать реальную частоту кадров и частоту обновления дисплея. Монитор может обновляться 60 раз в секунду, но отображать видео с 24 кадр/с — через механизм пулдауна (например, 2:3 pulldown для NTSC), при котором кадры повторяются с определённым паттерном. Несовпадение частот приводит к эффектам judder (подёргивания) или stutter (рывков), если система не компенсирует разницу программно (через интерполяцию) или аппаратно (через переменную частоту обновления — VRR, G-Sync, FreeSync).

4. Цвет и яркость​

Цифровое видео почти никогда не хранится в первичном RGB-представлении (красный, зелёный, синий), хотя именно в нём формируется изображение на дисплее. Вместо этого применяется Y′CbCr (или YUV в упрощённой нотации) — модель, разделяющая сигнал на яркостную (luma) компоненту Y′ и две цветоразностные (chroma) компоненты Cb и Cr.

Это разделение основано на физиологическом факте: человеческий глаз гораздо чувствительнее к изменениям яркости, чем к изменениям цвета. Поэтому можно уменьшить пространственное разрешение цветовых компонент, не вызывая заметного ухудшения восприятия. Этот приём называется субдискретизацией цвета (chroma subsampling).

Наиболее распространённые схемы:

  • 4:4:4 — полное разрешение по всем трём компонентам. Используется в профессиональной видеопроизводстве (VFX, цветокоррекция), при работе с текстом и графикой. Объём данных — максимальный.
  • 4:2:2 — цветовые компоненты имеют вдвое меньшее разрешение по горизонтали. Уменьшение объёма на ~33 %. Применяется в вещательных студиях, цифровом кино (ProRes, DNxHD), видеомагнитофонах.
  • 4:2:0 — цветовые компоненты имеют вдвое меньшее разрешение и по горизонтали, и по вертикали. Объём на ~50 % меньше, чем 4:2:2. Это стандарт для потребительского видео: Blu-ray, YouTube, потоковые сервисы, видеокамеры. Именно эта схема лежит в основе H.264, H.265, VP9, AV1.

Заметим: при конверсии RGB → Y′CbCr и обратно возможны небольшие потери из-за округления и несовершенства матриц преобразования. Поэтому в цепочках с многократной перекодировкой предпочтительно сохранять исходное цветовое пространство без конвертации.

Помимо пространственного представления, важно понимать гамма-коррекцию и передаточные функции. Световая энергия, попадающая на датчик, линейна по физике — но дисплей и человеческое восприятие — нелинейны. Чтобы эффективно использовать разрядность (обычно 8 или 10 бит на компоненту), применяется нелинейное кодирование яркости — гамма-кривая (sRGB, Rec.709) или логарифмические/параметрические функции (PQ — для HDR, HLG — гибридное HDR/SDR). Без правильной интерпретации передаточной функции изображение будет выглядеть либо «мыльным» (слишком тёмные тени), либо «выгоревшим» (пересвеченные света).

5. Временное сжатие видео​

Основной объём видеоданных приходится на временную избыточность — сходство соседних кадров. В большинстве сцен (кроме экстремальных: взрывы, быстрая смена планов) большинство пикселей либо не меняются, либо смещаются по предсказуемой траектории.

Современные видеокодеки (H.264/AVC, H.265/HEVC, AV1, VVC) используют гибридную модель кодирования, сочетающую:

  • Пространственное предсказание внутри кадра (intra-prediction): текущий блок предсказывается на основе соседних уже декодированных блоков того же кадра.
  • Временное предсказание между кадрами (inter-prediction): текущий блок предсказывается на основе блоков из других кадров (опорных кадров), с учётом движения (motion estimation / compensation).

Структура видеопотока организована в группы изображений (GOP — Group of Pictures). Каждая GOP начинается с I-кадра (Intra-coded) — полноценного, независимого кадра, закодированного без ссылок на другие. Затем следуют P-кадры (Predictive), которые ссылаются на предыдущие опорные кадры (I или P), и B-кадры (Bidirectional), которые могут использовать как предыдущие, так и последующие опорные кадры.

Например, GOP с шаблоном I B B P B B P означает:

  • I — полный кадр;
  • два B-кадра предсказываются как из I, так и из следующего P;
  • P-кадр предсказывается из I;
  • следующие два B — из P и следующего P;
  • и так далее.

B-кадры дают наибольший выигрыш в сжатии, но требуют буферизации — декодер должен хранить как предыдущие, так и будущие кадры. Поэтому в системах с минимальной задержкой (видеоконференции, удалённое управление) их либо не используют, либо ограничивают количество.

Копирование I-кадров — это точка входа для случайного доступа (seek), точка восстановления после потери пакетов (в потоковой передаче), основа для создания миниатюр и превью. Частота I-кадров — важный параметр: чем реже они идут, тем выше степень сжатия, но тем выше риск потери синхронизации и дольше время восстановления после ошибки.

6. Битрейт​

Битрейт определяет качество и поведение системы передачи и воспроизведения. Выделим ключевые режимы:

Постоянный битрейт (CBR — Constant Bitrate)​

Поток генерируется с фиксированной скоростью независимо от сложности сцены. Для поддержания CBR кодировщик вынужден динамически изменять параметры квантования: в простых сценах — завышать степень сжатия (снижая качество ниже необходимого), в сложных — занижать, рискуя переполнением буфера («бёрст»).
Применение: телевещание (DVB, ATSC), где канал имеет строго фиксированную пропускную способность; системы записи на носитель с ограничением скорости (некоторые DVR).

Переменный битрейт (VBR — Variable Bitrate)​

Кодировщик распределяет биты пропорционально сложности контента. Простые сцены (статичный кадр, однородный фон) кодируются с низким битрейтом, сложные (движение камеры, мелкие детали, быстрое действие) — с высоким. Качество остаётся более равномерным, а средний битрейт — ниже, чем при CBR эквивалентного качества.
Разновидности:

  • VBR с ограничением (constrained VBR) — есть верхняя граница битрейта, чтобы не нарушать требования канала.
  • 2-pass VBR — кодировщик проходит по исходному видео дважды: в первом проходе анализирует сложность по времени, во втором — распределяет биты оптимально. Даёт лучший результат, но требует полного доступа к источнику заранее.

Адаптивный битрейт (ABR — Adaptive Bitrate Streaming)​

Это метод доставки. Исходное видео кодируется в нескольких вариантах (renditions) с разными разрешениями и битрейтами (например: 240p@400 кбит/с, 480p@1 Мбит/с, 720p@3 Мбит/с, 1080p@6 Мбит/с). Клиент (браузер, плеер) в реальном времени выбирает, какой вариант запрашивать дальше — в зависимости от текущей пропускной способности сети, загрузки CPU, размера буфера.
Основные протоколы: HLS (HTTP Live Streaming, от Apple), MPEG-DASH (открытый стандарт), CMAF (Common Media Application Format — унификация контейнеров для HLS и DASH).

ABR решает проблему нестабильности сетей, но вводит задержку (буферизация 10–30 секунд) и требует значительных ресурсов на стороне сервера (множественное кодирование, фрагментация, хранение).

7. Потоки и контейнеры​

Аудио и видео редко существуют изолированно. Они объединяются с субтитрами, метаданными, главами, альтернативными дорожками — и всё это должно быть синхронизировано во времени и доступно для выбора во время воспроизведения. Для этого используется двухуровневая архитектура:

Уровень 1: Потоки (elementary streams)​

Каждый базовый компонент (видео, аудио, субтитры) кодируется отдельно и представляет собой непрерывную последовательность пакетов, каждый из которых содержит:

  • заголовок с временной меткой (PTS — Presentation Time Stamp, DTS — Decoding Time Stamp);
  • фрагмент закодированных данных (NAL unit в H.264/H.265, audio frame в AAC);
  • информацию о компоненте (ID потока, codec type, параметры).

Эти потоки самостоятельны: их можно передавать по разным физическим каналам (например, в профессиональных SDI-системах аудио и видео идут отдельно), транскодировать независимо, анализировать.

Уровень 2: Контейнер (container format)​

Контейнер — это структура более высокого уровня, которая:

  • мультиплексирует несколько элементарных потоков в один файл или поток;
  • обеспечивает синхронизацию по временным меткам;
  • хранит метаданные (название, автор, дата, геолокация, цветовой профиль, лицензия);
  • поддерживает навигацию (главы, меню, точки перехода);
  • позволяет произвольный доступ (поиск, перемотка).

Популярные контейнеры:

  • MP4 (ISO Base Media File Format) — промышленный стандарт на основе QuickTime. Поддерживает H.264, H.265, AAC, текстовые субтитры (WebVTT), метаданные (XMP). Оптимизирован для потоковой передачи («fast start» — moov-атом в начале файла).
  • MKV (Matroska) — открытый, гибкий контейнер. Поддерживает практически любые кодеки, множество аудио- и видеодорожек, главы, вложения (шрифты, изображения), сложные сценарии (интерактивное видео). Неофициальный стандарт для архивного и энтузиастского контента.
  • WebM — подмножество Matroska, стандартизированное Google для веба. Обычно содержит VP8/VP9/AV1 + Opus/Vorbis. Лёгкий, без лицензионных ограничений.
  • TS (MPEG Transport Stream) — используется в вещании (DVB, IPTV). Устойчив к потере пакетов благодаря коротким фиксированным размерам пакетов (188 байт) и встроенной коррекции ошибок. Неэффективен для файлового хранения.
  • AVI — устаревший контейнер от Microsoft. Ограниченная поддержка современных кодеков, отсутствие нормальной синхронизации для B-кадров, проблемы с длинными файлами.

Контейнер не влияет на качество — он лишь упаковывает уже закодированные данные. Однако выбор контейнера определяет совместимость, функциональность и надёжность доставки.

8. Синхронизация​

Одна из самых чувствительных проблем в мультимедиа — расхождение аудио и видео во времени (lip sync error). Человеческий мозг допускает отклонения до ±45 мс без дискомфорта; за пределами ±100 мс нарушается восприятие речи.

Причины рассинхронизации:

  • Разная задержка обработки: видеокодек сложнее аудиокодека — кодирование/декодирование видео занимает больше времени.
  • Буферизация: аудио и видео проходят через разные буферы (например, в звуковой карте и видеодрайвере).
  • Неправильные временные метки (PTS/DTS) в потоке.
  • Перекодировка с нарушением временной шкалы (например, при смене частоты кадров без коррекции длительности аудио).

Современные мультимедийные фреймворки (FFmpeg, GStreamer, Media Foundation) решают это через общую временну́ю шкалу (clock) и адаптивную компенсацию задержки на этапе воспроизведения: если аудио уходит вперёд, видеодекодер искусственно замедляется (повторением кадров); если отстаёт — пропускает кадры.

В профильных системах (вещание, конференцсвязь) для калибровки используются тестовые сигналы — например, хлопок в ладоши, сопровождаемый визуальным событием (мигание света). Совпадение звука и вспышки в одном кадре — признак корректной синхронизации.

9. Современные видеокодеки​

После доминирования H.264/AVC (2003) и H.265/HEVC (2013) ландшафт кодирования видео стал многополярным. Появление открытых, royalty-free кодеков изменило баланс между качеством сжатия, аппаратной поддержкой и юридической безопасностью.

H.265 / HEVC (High Efficiency Video Coding)​

Предоставляет примерно вдвое лучшее сжатие по сравнению с H.264 при том же субъективном качестве — за счёт:

  • более гибкого деления кадра (CTU до 64×64, рекурсивное разбиение);
  • большего набора режимов внутрикадрового предсказания (35 вместо 9);
  • параллельной обработки (tiles, wavefront);
  • улучшенной интерполяции движения (до 1/4 пикселя).

Однако HEVC не стал универсальным заменителем H.264. Причина — фрагментированная и неясная система патентных лицензий. Несколько патентных пулов (MPEG LA, HEVC Advance, Velos Media) требуют отдельных соглашений. Это затрудняет внедрение в open-source проекты и создаёт юридические риски для разработчиков ПО. В результате:
— поддержка HEVC в браузерах ограничена (только Safari и Edge на Windows с аппаратным ускорением);
— Android не включает HEVC-декодер по умолчанию;
— многие потоковые сервисы используют HEVC только для высококачественных профилей (4K HDR), где экономия пропускной способности окупает сложность.

AV1 (AOMedia Video 1)​

Разработан Alliance for Open Media (Google, Netflix, Amazon, Microsoft, Apple и др.) как открытая, royalty-free альтернатива HEVC. Эффективность AV1 на 20–30 % выше HEVC при тех же настройках, и до 50 % выше H.264. Достигается это за счёт:

  • ещё более гибкой структуры блоков (до 128×128);
  • расширенных инструментов внутрикадрового предсказания (72 режима);
  • масштабируемости (scalability — возможность выделять базовый и уточняющий слои);
  • улучшенных фильтров постобработки (CDEF, LR — loop restoration).

Ключевое преимущество AV1 — отсутствие лицензионных отчислений. Это сделало его стандартом де-факто для веба:
— YouTube транслирует большую часть 1080p+ в AV1;
— Netflix, Disney+, Amazon Prime Video используют AV1 для мобильных клиентов (экономия трафика);
— все современные браузеры (Chrome, Firefox, Edge, Safari 17+) поддерживают AV1-декодирование.

Минус — высокая вычислительная сложность кодирования. Первые реализации (libaom) были в 10–100 раз медленнее x264. Сейчас появились ускоренные кодеры (SVT-AV1, dav1d, rav1e), а также аппаратные кодеры (Intel Arc, AMD RDNA3, Apple M2/M3, Snapdragon 8 Gen 2+). Однако массовое аппаратное кодирование AV1 в реальном времени до сих пор не на уровне HEVC по стабильности и совместимости.

VVC (H.266 / Versatile Video Coding) и EVC (Essential VVC)​

VVC (2020) обещает ещё вдвое лучшее сжатие по сравнению с HEVC — но ценой радикального роста сложности. Время кодирования может превышать реальное в сотни раз. Патентная ситуация ещё менее прозрачна, чем у HEVC.

В ответ на это была выпущена упрощённая версия — EVC (Essential VVC), где «essential» означает:
— базовый профиль (EVC-B) — royalty-free первые 3 года, затем фиксированная ставка;
— основной профиль (EVC-M) — требует лицензирования, но с открытой декларацией патентов.

На практике EVC/VVC пока не получил широкого распространения. Используется в узких сценариях: профессиональная доставка 8K, военные и медицинские системы, где пропускная способность критична, а стоимость лицензий вторична.

Краткое сравнение (при эквивалентном субъективном качестве):​

КодекРазмер относительно H.264Время кодирования (относительно x264 medium)Аппаратная поддержка (2025)Лицензирование
H.2641.0×1.0×Полная (все GPU, SoC)Royalty (MPEG LA, но истекает по частям)
HEVC0.5×2–5×Широкая (Intel 7-го поколения+, Apple A10+, Snapdragon 835+)Сложное, множественные пулы
AV10.4–0.45×5–20× (SVT-AV1), 50–100× (libaom)Растущая (Intel Arc, AMD RDNA3, Apple M2+, Snapdragon 8 Gen 2+)Royalty-free
VVC0.25×50–200×Экспериментальная (MediaTek, некоторые FPGA)Очень сложное

Выбор кодека — это не «самый новый = лучше». Это баланс между: — требуемой экономией пропускной способности; — доступными вычислительными ресурсами (на стороне кодирования и воспроизведения); — юридической допустимостью; — необходимостью поддержки legacy-устройств.

10. Аппаратное ускорение​

Сжатие и воспроизведение видео требуют значительных вычислений. Перенос этих задач с CPU на специализированные блоки — необходимое условие энергоэффективности и реального времени.

Уровни ускорения:​

  1. Целочисленные SIMD-инструкции (SSE, AVX, NEON) — ускоряют отдельные операции (DCT, фильтрация), но остаются в рамках CPU.
  2. GPU-шейдеры (CUDA, OpenCL, Vulkan Compute) — позволяют распараллелить обработку блоков. Используются в FFmpeg (via cuvid, videotoolbox), но не оптимальны по энергопотреблению.
  3. Специализированные медиаблоки (fixed-function hardware) — выделенные схемы на кристалле GPU или SoC, выполняющие кодирование/декодирование по фиксированному алгоритму. Примеры:
    • Intel Quick Sync Video — с 2011 года (Sandy Bridge), поддерживает H.264, HEVC, AV1 (с 12-го поколения);
    • NVIDIA NVENC/NVDEC — с Kepler (2012), AV1-декодирование с Turing (2018), кодирование — с Ada Lovelace (2022);
    • AMD VCE/VCN/UVD — Unified Video Decoder и Video Core Next, AV1 с RDNA3 (2022);
    • Apple VideoToolbox — tight integration с Metal и Core Media, AV1 с M2;
    • Qualcomm Hexagon DSP + Spectra ISP — в мобильных SoC, оптимизация под низкое энергопотребление.

Ключевое преимущество fixed-function блоков:

  • Энергоэффективность: 5–10 Вт против 50–100 Вт при CPU-кодировании;
  • Низкая задержка: конвейерная обработка без участия ОС;
  • Предсказуемая производительность: не зависит от загрузки системы.

Недостатки:

  • Жёсткая привязка к стандарту: нельзя модифицировать алгоритм (например, добавить собственный фильтр);
  • Ограниченная гибкость параметров: не все профили и уровни поддерживаются;
  • Разнородность API: VAAPI (Linux), VideoToolbox (macOS/iOS), Media Foundation (Windows), MediaCodec (Android) — требуют абстракции (например, через FFmpeg или GStreamer).

В профессиональных системах (видеонаблюдение, live-стриминг) часто используется гибридный подход: предварительная обработка (масштабирование, наложение графики) — на GPU, кодирование — на fixed-function блоке.

11. Расширенные цветовые возможности​

Традиционное видео (SDR — Standard Dynamic Range) использует:

  • 8 бит на компоненту;
  • цветовое пространство Rec.709 (ограниченный охват — ~35 % видимого спектра);
  • гамма-кривую ~2.4 (sRGB / BT.1886);
  • пиковую яркость 100 нит (кд/м²).

Современные дисплеи (OLED, Mini-LED) способны на большее. Для их использования введены стандарты HDR (High Dynamic Range) и wide color gamut (WCG).

HDR — не просто «ярче». Это:​

  • Динамический диапазон: от 0.0005 нит (чёрный OLED) до 1000–4000 нит (пиковая яркость);
  • Глубина цвета: 10 или 12 бит на компоненту (1.07 млрд или 68.7 млрд цветов вместо 16.7 млн);
  • Адаптивная передаточная функция:
    • PQ (Perceptual Quantizer, ST.2084) — абсолютная шкала яркости, используется в UHD Blu-ray, Netflix, YouTube;
    • HLG (Hybrid Log-Gamma) — совместима с SDR-устройствами, применяется в вещании (BBC, NHK).

Wide color gamut​

Стандартные цветовые пространства:

  • Rec.709 — для HD;
  • Rec.2020 — для UHD, охватывает ~75 % видимого спектра (хотя ни один дисплей пока не достигает полного охвата);
  • DCI-P3 — промежуточный стандарт кинематографа и Apple-устройств (~45 % спектра, но лучше распределён в красной/зелёной области).

Важно: HDR и WCG требуют сквозной поддержки на всех этапах:

  1. Съёмка — камера с HDR-логарифмическими профилями (S-Log, C-Log);
  2. Монтаж — 10-битный цветовой поток, поддержка PQ/HLG в NLE (DaVinci Resolve, Premiere Pro);
  3. Кодирование — указание метаданных HDR (HDR10, HDR10+, Dolby Vision);
  4. Доставка — контейнер с поддержкой (MP4, MKV), поток с сигналом HDR;
  5. Воспроизведение — дисплей с сертификацией (HDR10, Dolby Vision), корректная передача метаданных через HDMI 2.0a+.

Метаданные HDR бывают:

  • Статические (HDR10) — один набор параметров на весь ролик (макс. яркость, черта, первичные цвета);
  • Динамические (HDR10+, Dolby Vision) — параметры меняются от сцены к сцене (или даже кадр к кадру), что позволяет точнее управлять отображением на конкретном дисплее.

Ошибка в любом звене — и изображение будет или «плоским» (без HDR-эффекта), или искажённым («выгоревшим», с неправильным цветом). Поэтому в профессиональной среде обязательна калибровка и валидация сигнала (например, с помощью waveform monitor, vectorscope, HDR test patterns).

12. Веб-видео​

Браузер — это полноценная мультимедийная платформа. Его стек включает:

  • HTMLMediaElement (<video>, <audio>) — высокоуровневый интерфейс для воспроизведения файлов и потоков;
  • Media Source Extensions (MSE) — позволяет JavaScript динамически формировать медиапоток из фрагментов (основа для DASH, HLS в браузере);
  • Encrypted Media Extensions (EME) — управление DRM (Widevine, PlayReady, FairPlay);
  • WebRTC — захват, кодирование, передача и приём аудио/видео в реальном времени с минимальной задержкой;
  • WebCodecs API (2021+) — прямой доступ к кодекам на уровне браузера: приложение может получать сырые кадры, кодировать их вручную, применять фильтры, использовать аппаратное ускорение.

WebCodecs — прорыв для веб-приложений:

  • видеоредакторы (CapCut Web, Clipchamp);
  • облачные игры (GeForce NOW, Xbox Cloud);
  • AR/VR в браузере (WebXR + WebCodecs);
  • обработка видеоконференций на стороне клиента (шумоподавление, боке, транскрибация).

Пример использования WebCodecs:

  1. Получить видеопоток с камеры через navigator.mediaDevices.getUserMedia();
  2. Создать VideoDecoder и VideoEncoder;
  3. Передавать кадры в VideoEncoder.encode();
  4. Получать закодированные чанки, отправлять по WebSocket/WebTransport;
  5. На приёмной стороне — VideoDecoder.decode() и отрисовка в <canvas> или VideoFrame.

Это даёт контроль, сравнимый с нативным приложением, но в sandbox’е браузера. Однако:
— не все браузеры поддерживают одинаковые кодеки (Chrome — AV1 encode, Safari — только H.264/HEVC hardware-accelerated);
— аппаратное ускорение не гарантируется (зависит от ОС и драйверов);
— энергопотребление выше, чем при использовании <video src>.

13. Синтезированное медиа​

Технологии генеративного ИИ (diffusion models, GANs, autoregressive transformers) позволяют создавать аудио и видео, не имеющие физического прототипа. Это конструирование данных по запросу.

Типы синтеза:​

  • Text-to-Speech (TTS) — современные системы (VITS, Bark, Coqui TTS) генерируют речь с интонацией, эмоцией, дыханием, почти неотличимую от живой. Поддержка многоголосия, акцентов, стилей (новостной диктор, подкастер).
  • Voice Conversion / Cloning — перенос голоса с одного диктора на другой при сохранении речевого содержания. Требует ~1–5 минут эталонной записи.
  • Text-to-Video — генерация видеоряда по текстовому описанию (Sora, Pika, Runway Gen-2). Пока ограничена по длительности (5–10 сек), стабильности движения, физической достоверности.
  • Deepfake (face/voice swapping) — замена лица/голоса в существующем видео. Требует исходного видео и референса. Качество растёт, но остаются артефакты: несинхронность мимики, аномальное моргание, странное освещение.

Технические ограничения (2025):​

  • Физическая согласованность: ИИ плохо моделирует законы сохранения (инерция, гравитация, отражения);
  • Длительная когерентность: персонаж может «раствориться» или изменить одежду через 20 секунд;
  • Аудио-визуальная синхронизация: губы не всегда точно следуют за звуком;
  • Вычислительная стоимость: генерация 1080p@30fps на 10 секунд требует десятков GPU-часов.

Этические и правовые аспекты:​

  • Идентификация: введение невидимых цифровых водяных знаков (C2PA — Coalition for Content Provenance and Authenticity);
  • Отказ от ответственности: обязательная маркировка синтетического контента (например, «Создано с помощью ИИ»);
  • Права на голос/внешность: в ряде юрисдикций (Калифорния, ЕС) требуется явное согласие на использование биометрических данных;
  • Глубокая подделка как дезинформация: регулирование в рамках законов о фейках (например, в РФ — ст. 15.7 КоАП, ст. 207.3 УК).

Техническое сообщество работает над детекторами deepfake (анализ межморгательных интервалов, асимметрии лица, спектральных аномалий в аудио), но гонка вооружений продолжается: каждый новый детектор быстро обходится следующим поколением генераторов.

Ключевой принцип: синтезированное медиа — инструмент, и как любой инструмент, оно аморально. Его ценность определяется целью применения: обучение (имитация голоса преподавателя для детей с нарушениями слуха), доступность (озвучка книг для незрячих), творчество (анимация по скетчу) — это польза. Дезинформация, мошенничество, несогласованная имитация — вред.